有两种主要的扩散模型方法:降解扩散概率模型(DDPMS)(Sohl- Dickstein等,2015; Ho等,2020)和基于得分的生成模型(Song&Ermon,2019)(SGMS)(SGMS)。以前的DDPM逐渐通过向前过程将样品从目标分布转换为噪声,并训练向后的过程逆转转换并用于生成新样品。另一方面,SGM使用得分匹配技术(Hyvärinen&Dayan,2005; Vincent,2011)来学习数据生成分布的得分函数的近似,然后使用Langevin Dynamics生成新样本。由于对于现实世界的分布,得分功能可能不存在,Song&Ermon(2019)建议在训练样本中添加不同的噪声水平以覆盖整个实例空间,并训练神经网络以同时学习所有噪声水平的得分函数。
主要关键词